\documentclass[12pt,a4paper]{article}
\usepackage{geometry}
\usepackage{ctex}
\geometry{a4paper, margin=1in}
\usepackage{titlesec}
\usepackage{graphicx}
\usepackage{booktabs}
\usepackage{hyperref}
\usepackage{enumitem}
\usepackage{longtable}
\usepackage{algorithm}
\usepackage{algorithmic}
\usepackage{amsmath}
\usepackage{amssymb}


\title{分布式计算论文综述：混合会议综述}
\author{姓名：魏来\ 学号：241607010057\ 专业：电子信息}
\date{\today}

\begin{document}

\maketitle

\section*{摘要}

\section{引言}
\subsection{会议背景与意义}
本综述覆盖以下会议:\textit{DAC}（设计自动化）、\textit{ICDCS}（国际分布式计算系统）、\textit{EuroSys}（欧洲计算机系统会议）、\textit{SC}（超级计算大会）、\textit{MICRO}（国际微架构研讨会）。这些会议在并行编程、硬件优化、分布式系统等方向上有较多交叉点，但研究重点各有侧重，DAC是电子设计自动化领域的顶级会议，重点关注如何利用计算机辅助设计工具和方法来提高电子系统和集成电路的设计效率和质量。ICDCS是分布式计算领域的顶级会议，专注于研究分布式计算系统的设计、分析、实现及其应用。EuroSys 是计算机系统领域的重要学术会议，关注计算机系统的设计、实现、性能和优化。

\subsection{综述目标}
本综述的目标是：
\begin{itemize}
    \item 总结跨会议的研究主题与贡献。
    \item 比较会议间的差异与交叉点。
    \item 提炼研究趋势与挑战，提出未来研究建议。
\end{itemize}

\subsection{综述范围}
本文涵盖例如\textit{DAC}、\textit{ICDCS}和\textit{EuroSys}在近三年的研究论文，按主题统一分类，共分析\textit{[15]}篇论文。

\section{研究主题分类与分类分析}
\subsection{主题分类}
根据研究内容，将论文按以下主题分类：
\begin{enumerate}
    \item \textbf{并行算法}：优化并行计算的算法设计与实现。
    \item \textbf{编程模型与框架}：并行编程语言、模型与运行时优化。
    \item \textbf{硬件优化与协同设计}：多核、GPU、TPU等硬件环境下的性能提升。
    \item \textbf{分布式系统}：容错机制、一致性协议与大规模分布式架构。
\end{enumerate}

\subsection{论文总览与分类表}
\begin{table}[h!]
    \centering
    \resizebox{\textwidth}{!}{
    \begin{tabular}{|l|l|l|l|l|l|}
    \hline
    \textbf{编号} & \textbf{主题} & \textbf{会议} & \textbf{标题} & \textbf{核心技术} & \textbf{主要贡献} \\ \hline
    1 & 分布式系统 & DAC & FHDnn: Communication Efficient and Robust Federated Learning for AIoT Networks & 卷积神经网络、超维计算  & FHDnn框架能够提高通信效率同时具有高鲁棒性  \\ \hline
    2 & 分布式系统 & DAC & AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems & 模型剪枝机制、强化学习策略 & AdaptiveFL对于IID和非IID场景都能实现较好推理改进 \\ \hline
    3 & 分布式系统 & DAC & Fake Node-Based Perception Poisoning Attacks against Federated Object Detection Learning in Mobile Computing Networks & 基于假节点的感知中毒攻击策略 & 提出FNPPA，丰富了联邦学习安全攻击领域的理论研究 \\ \hline
    4 & 分布式系统 & ICDCS & Fed-MS: Fault Tolerant Federated Edge Learning with Multiple Byzantine Servers & 多服务器技术、修剪均值模型过滤器 & 解决了在拜占庭PS存在情况下的模型聚合与可靠训练问题 \\ \hline
    5 & 分布式系统 & ICDCS & Toward Free-riding Attack on Cross-Silo Federated Learning Through Evolutionary Game & 进化博弈模型、环境反馈动态框架和非线性控制方法 & 提出基于进化博弈的Fed-EPG激励模型 \\ \hline
    6 & 分布式系统 & ICDCS & FedMark: Large-Capacity and Robust Watermarking in Federated Learning & Shamir秘密共享技术、哈希矩阵计算 & 增强了水印鲁棒性，满足了现实 FL 系统的需求 \\ \hline
    7 & 分布式系统 & ICDCS & OASIS: Offsetting Active Reconstruction Attacks in Federated Learning & 图像增强技术 & 提出OASIS防御机制，有效抵御此类攻击并保持模型性能。 \\ \hline
    8 & 分布式系统 & ICDCS & Mitigation of Gradient Inversion Attacks in Federated Learning with Private Adaptive & 安全聚合算法、自适应优化 & 提出SecAdam算法，有效缓解安全攻击且提升模型性能 \\ \hline
    9 & 分布式系统 & EuroSys & DeTA: Minimizing Data Leaks in Federated Learning via Decentralized and Trustworthy Aggregation & 去中心化数据聚合、机密计算 & 有效降低联邦学习数据泄露风险 \\ \hline
    10 & 分布式系统 & EuroSys & Totoro: A Scalable Federated Learning Engine for the Edge & 分布式哈希表、P2P & 解决边缘网络联邦学习的扩展性和适应性难题 \\ \hline
    11 & 分布式系统 & EuroSys & FLOAT: Federated Learning Optimizations with Automated Tuning & 多目标强化学习 & 解决联邦学习中资源管理和模型性能优化难题 \\ \hline
    12 & 分布式系统 & EuroSys & Dordis: Efficient Federated Learning with Dropout-Resilient Differential Privacy & XNoise噪声强制方案、分布式并行架构 & 有效解决联邦学习中分布式差分隐私机制面临的客户端退出和效率问题 \\ \hline
    13 & 分布式系统 & EuroSys & REFL: Resource-Efficient Federated Learning & 智能参与者选择、陈旧感知聚合 & 有效解决联邦学习中资源浪费和数据多样性低的问题 \\ \hline
    14 & 分布式系统 & SC & SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Federated Learning & 异质知识转移学习、强化、联邦 & 有效降低联邦学习通信开销、加速模型推理、解决数据异质性问题 \\ \hline
    15 & 分布式系统 & MICRO & HARMONY: Heterogeneity-Aware Hierarchical Management for Federated Learning System & 协调器技术、聚类算法 & 有效平衡联邦学习中模型性能与训练进度 \\ \hline
    \end{tabular}
    }
    \caption{跨会议论文分类总览}
    \label{tab:papers}
\end{table}


\section{各主题详细分析}
\subsection{主题 1：分布式系统}

\subsubsection{DAC}
\begin{itemize}
    \item Chandrasekaran等\cite{10.1145/3489517.3530394}提出了\textit{FHDnn}，通过结合CNNs和超维计算，避免传输CNN而仅训练超维组件，有效降低了通信成本和设备能耗，增强了对网络错误的鲁棒性。
    \item Jia等\cite{10.1145/3649329.3655917}提出了\textit{AdaptiveFL}，通过细粒度宽度模型剪枝机制和强化学习设备选择策略，有效提升了推理性能。
    \item Xiao等\cite{10.1145/3649329.3655934}提出了\textit{FNPPA}，丰富了联邦学习安全攻击领域的理论研究，为后续研究提供了新的方向和思路。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    FHDnn: Communication Efficient and Robust Federated Learning for AIoT Networks
    \item \textbf{研究问题}：
        针对物联网环境下联邦学习面临的传输成本高、网络不可靠和设备计算能力有限等问题提出相对应的解决方法。
    \item \textbf{方法与技术}：
        提出了FHDnn框架，通过结合CNNs和超维计算，避免传输CNN而仅训练超维组件，有效降低了通信成本和设备能耗，增强了对网络错误的鲁棒性。 
    \item \textbf{主要贡献}：
        提出了一种新的联邦学习框架FHDnn，将深度学习中的卷积神经网络（CNN）和超维计算（HDC）相结合，为联邦学习在理论模型构建上提供了新的思路。证明了FHDnn 在满足L-smoothness、强凸性、有界方差和一致有界梯度等条件下，能以O(1/T)的速率收敛到学习任务的全局最优解。FHDnn将通信成本降低了66倍，本地客户端计算和能耗降低了1.5-6倍，同时对网络错误具有高度鲁棒性，且精度损失最小。 
    \item \textbf{不足与未来方向}：
        论文的不足在于仅聚焦图像分类应用，对其他任务未深入探讨，极端网络错误处理有欠缺且实验数据和模型架构有限；未来工作有望拓展应用范围、提升鲁棒性及在更多样数据集和架构上实验以增强结论普适性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
    \item \textbf{研究问题}：
    论文针对物联网（AIoT）设备在联邦学习（FL）中因硬件资源异构和环境不确定导致分类性能低的问题，提出相对应的解决方法。
    \item \textbf{方法与技术}：
    提出AdaptiveFL方法，通过细粒度宽度模型剪枝机制和强化学习设备选择策略，有效提升了推理性能。
    \item \textbf{主要贡献}：
    与最先进的方法相比，AdaptiveFL对于IID和非IID场景都能实现高达8.9\%的推理改进。
    \item \textbf{不足与未来方向}：
    论文虽提出AdaptiveFL提升了AIoT联邦学习性能，但未深入探究极端设备异构和复杂环境下的稳定性，未来可在此方面开展研究以进一步完善该方法。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    Fake Node-Based Perception Poisoning Attacks against Federated Object Detection Learning in Mobile Computing Networks
    \item \textbf{研究问题}：
    论文针对移动计算网络中联邦对象检测学习的安全漏洞，提出基于假节点的感知中毒攻击策略。
    \item \textbf{方法与技术}：
    FNPPA通过污染本地数据和注入假节点，在不影响其他对象正常检测的情况下增强对目标对象的恶意影响，并经实验证明其攻击效果优于现有技术。
    \item \textbf{主要贡献}：
    提出了移动计算环境下基于假节点的感知中毒攻击技术（FNPPA），丰富了联邦学习安全攻击领域的理论研究，为后续研究提供了新的方向和思路。通过实施标签翻转、边界框和对象存在三种感知中毒攻击，能精准影响模型对中毒样本的检测且维持其他正常样本的检测精度；同时利用假节点帮助攻击者以更低成本和更高概率参与聚合，FNPPA 相较于现有先进技术在平均精度和聚合效果等评估维度上展现出更优的攻击效果。
    \item \textbf{不足与未来方向}：
    论文虽提出FNPPA攻击策略并验证其效果，但未深入研究应对复杂环境变化和多类型防御组合的有效性，未来可在此方面开展研究以完善对联邦学习安全的评估。
\end{itemize}

\subsubsection{ICDCS}
\begin{itemize}
    \item Qi等\cite{10631004}提出了\textit{Fed-MS}，针对联邦边缘学习中参数服务器可能存在拜占庭行为的问题，提出了一种拜占庭容错算法。
    \item Chen等\cite{10631028}提出了\textit{Fed-EPG}，针对如何解决跨组织联邦学习中存在的搭便车攻击问题进行了研究。
    \item Zhang等\cite{10630980}提出了\textit{FedMark}，针对联邦学习中模型水印技术存在的容量有限、易受攻击且无法适应多所有者场景等问题进行了研究。
    \item Jeter等\cite{10631003}提出了\textit{OASIS}，基于图像增强技术有效抵御此类攻击并保持模型性能。
    \item Lewis等\cite{10631001}提出了\textit{SecAdam}，通过改变梯度更新特性并改进聚合方式，有效缓解攻击且提升模型性能。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    Fed-MS: Fault Tolerant Federated Edge Learning with Multiple Byzantine Servers 
    \item \textbf{研究问题}：
    针对联邦边缘学习（FEEL）中参数服务器（PS）可能存在拜占庭行为的问题，提出了一种拜占庭容错算法。
    \item \textbf{方法与技术}：
    Fed-MS算法，利用多服务器技术和修剪均值模型过滤器，解决了在拜占庭PS存在情况下的模型聚合与可靠训练问题，并通过稀疏上传策略提升通信效率，实现了与非拜占庭环境下相当的收敛速度。
    \item \textbf{主要贡献}：
    当拜占庭PS占少数时，Fed-MS实现了O(1/T)的预期收敛速度。数值结果表明，在拜占庭PS的恶意攻击下，Fed-MS可以将模型精度从10\%提高到至少76\%。
    \item \textbf{不足与未来方向}：
    论文虽提出Fed-MS算法有效应对拜占庭服务器问题，但仅考虑了部分拜占庭攻击类型和有限的数据集及模型结构，未来可拓展攻击类型、数据集与模型以增强算法普适性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    Toward Free-riding Attack on Cross-Silo Federated Learning Through Evolutionary Game
    \item \textbf{研究问题}：
    论文针对如何解决跨组织联邦学习（cross-silo FL）中存在的搭便车攻击问题进行了研究，并提出了相关的可行方法。
    \item \textbf{方法与技术}：
    考虑参与者的有限理性和信息不对称性，提出基于进化博弈的Fed-EPG激励模型，通过构建进化公共物品博弈模型、引入环境反馈的复制动态框架和多段非线性控制方法，有效鼓励参与者合作并提升全局模型精度。
    \item \textbf{主要贡献}：
    深入剖析跨组织联邦学习中搭便车攻击，建立进化公共物品博弈模型刻画其行为，提出Fed-EPG激励模型及多段非线性控制方法，经实验验证可有效抵御攻击、提升模型精度，为解决该问题提供新思路。
    \item \textbf{不足与未来方向}：
    模型仅考虑部分影响因素，如未充分考虑参与者数据和设备的异质性对激励效果的影响；实验设置相对局限，在参数选择和场景模拟上不够全面，可能无法完全反映实际复杂环境下的情况；控制方法的普适性有待进一步验证，对于不同类型的联邦学习任务和数据分布，其有效性可能存在差异。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    FedMark: Large-Capacity and Robust Watermarking in Federated Learning
    \item \textbf{研究问题}：
    针对联邦学习中模型水印技术存在的容量有限、易受攻击且无法适应多所有者场景等问题，提出 FedMark 水印机制及基于秘密共享的验证方法，实现了大容量水印嵌入，增强了水印鲁棒性，满足了现实 FL 系统的需求。
    \item \textbf{方法与技术}：
    在水印嵌入机制上，借助布隆过滤器Bloom Filter，将每个水印的哈希值嵌入到卷积层对应位置，减少单个水印占用参数数量，降低水印冲突概率，提升水印容量；同时，通过在参与者本地模型嵌入水印，构建独特映射关系，保障水印的隐蔽性。为提高水印验证的可靠性，运用基于秘密共享机制的方法，将参与者的嵌入矩阵作为秘密分享给其他参与者，利用Shamir秘密共享技术进行分发，在验证时需满足嵌入矩阵可重构且水印检测率达标的双重条件，增强了对伪造攻击的抵御能力，从而保障水印验证的准确性和安全性。
    \item \textbf{主要贡献}：
    证明了本地嵌入水印实现向联邦学习全局模型嵌入大量水印的可行性，识别出容量瓶颈，提出 FedMark 机制及基于秘密共享的验证方法，经实验验证其在水印容量、保密性和鲁棒性方面表现优异，为实际联邦学习系统提供了有效水印方案。
    \item \textbf{不足与未来方向}：
    对模型蒸馏攻击抵抗力不足、不适用于垂直联邦学习、嵌入矩阵占用内存大及未考虑恶意参与者等问题，未来可从增强抗模型蒸馏能力、拓展至垂直联邦学习、优化嵌入矩阵存储和应对恶意参与者等方向开展研究。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    OASIS: Offsetting Active Reconstruction Attacks in Federated Learning
    \item \textbf{研究问题}：
    如何解决联邦学习中不诚实服务器通过恶意修改全局模型参数、利用梯度反演进行主动重构攻击，导致用户隐私数据泄露的问题。
    \item \textbf{方法与技术}：
    提出 OASIS 防御机制，基于图像增强技术有效抵御此类攻击并保持模型性能。
    \item \textbf{主要贡献}：
    论文剖析联邦学习中主动重构攻击原理，提出 OASIS 这一基于图像增强的防御机制，经实验验证能有效抵御攻击、保持模型性能，为联邦学习隐私保护开辟新路径。
    \item \textbf{不足与未来方向}：
    提出的 OASIS 防御机制虽有效，但局限于图像领域，对表格和文本数据缺乏有效防御手段，未来将探索针对非图像数据的防御方法以拓展其适用范围。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    Mitigation of Gradient Inversion Attacks in Federated Learning with Private Adaptive 
    Optimization
    \item \textbf{研究问题}：
    针对联邦学习中存在的梯度反演攻击威胁数据隐私的问题，提出SecAdam算法，通过改变梯度更新特性并改进聚合方式，有效缓解攻击且提升模型性能。
    \item \textbf{方法与技术}：
    采用基于客户端自适应优化器（如 Adam）和改进安全聚合算法的方法，混淆梯度反演、防止个体梯度被检索，能有效缓解梯度反演攻击，准确聚合客户端更新，在保障隐私的同时提升模型性能。
    \item \textbf{主要贡献}：
    剖析联邦学习中梯度反演攻击新趋势，提出 SecAdam 算法，通过优化器更新特性和改进聚合方式缓解攻击，经理论和实验验证其有效性。
    \item \textbf{不足与未来方向}：
    论文提出的 SecAdam 算法虽能缓解梯度反演攻击，但实验仅聚焦计算机视觉任务，未充分探索其他任务场景，未来可拓展算法在不同任务中的应用研究。
\end{itemize}

\subsubsection{EuroSys}
\begin{itemize}
    \item Cheng等\cite{10.1145/3627703.3650082}提出了\textit{DeTA}，有效降低联邦学习数据泄露风险，在不影响模型训练精度和性能的同时，增强系统安全性与可靠性。
    \item Ching等\cite{10.1145/3627703.3629575}提出了\textit{Totoro}，通过创新架构和技术，实现大规模应用的同时运行，提升训练效率并适应网络动态变化。
    \item Khan等\cite{10.1145/3627703.3650081}提出了\textit{FLOAT}，利用多目标强化学习结合人类反馈，动态优化资源利用和模型性能，提升联邦学习效果。
    \item Jiang等\cite{10.1145/3627703.3629559}提出了\textit{Dordis}，有效解决联邦学习中分布式差分隐私机制面临的客户端退出和效率问题，实现高效且抗客户端退出的分布式差分隐私联邦学习。
    \item Abdelmoniem等\cite{10.1145/3552326.3567485}提出了\textit{REFL}，有效解决联邦学习中资源浪费和数据多样性低的问题。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    DeTA: Minimizing Data Leaks in Federated Learning via Decentralized and Trustworthy Aggregation
    \item \textbf{研究问题}：
    针对联邦学习中依赖中央聚合器导致的模型更新泄露风险，以及现有防护技术的局限性，提出 DeTA 架构，通过去中心化聚合、参数混洗和多聚合器认证等技术，在保障训练精度和性能的同时，有效降低数据泄露风险。
    \item \textbf{方法与技术}：
   提出 DeTA 架构，采用去中心化数据聚合、参数级数据混洗、基于机密计算（如 AMD SEV）的可信多聚合器认证及定制的两阶段认证协议等方法和技术来保护联邦学习中的数据安全。
    \item \textbf{主要贡献}：
    有效降低联邦学习数据泄露风险，在不影响模型训练精度和性能的同时，增强系统安全性与可靠性。
    \item \textbf{不足与未来方向}：
    DeTA架构虽能有效降低联邦学习数据泄露风险，但未深入探讨应对FL参与方恶意行为的策略，未来可研究如何防范参与方恶意攻击及构建更完善的安全体系。 
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    Totoro: A Scalable Federated Learning Engine for the Edge
    \item \textbf{研究问题}：
    针对联邦学习在实际边缘网络应用中面临的可扩展性和适应性挑战，提出Totoro引擎，通过创新架构和技术，实现大规模应用的同时运行，提升训练效率并适应网络动态变化。
    \item \textbf{方法与技术}：
    在架构上，基于分布式哈希表（DHT）的对等（P2P）模型构建，将所有边缘节点自组织成一个可扩展的 P2P 覆盖网络，通过局部感知的 P2P 多环结构，实现边缘管理隔离和局部任务高效处理；利用发布/订阅森林抽象，为每个 FL 应用分配独立的动态数据流树，以去中心化方式管理模型广播和梯度聚合，提升系统扩展性。为应对边缘网络的动态性，引入基于强盗算法的路径规划模型，将路径规划问题转化为组合多臂强盗优化问题，在模型广播和梯度聚合时，通过探索不同路径学习链路质量，选择最优路径，适应网络变化。
    \item \textbf{主要贡献}：
    Totoro 这一全新的可扩展联邦学习引擎，通过创新设计解决边缘网络联邦学习的扩展性和适应性难题，在多方面性能优于现有系统，还将开源推动领域发展。
    \item \textbf{不足与未来方向}：
    仅在500个Amazon EC2节点上进行实验评估，未充分验证大规模实际部署中的性能和稳定性，也未深入探讨复杂攻击场景下的安全性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    FLOAT: Federated Learning Optimizations with Automated Tuning
    \item \textbf{研究问题}：
    针对联邦学习中因系统和数据异质性引发的掉队者、客户端退出、性能差异及资源利用低效等问题，提出 FLOAT 框架，利用多目标强化学习结合人类反馈，动态优化资源利用和模型性能，提升联邦学习效果。
    \item \textbf{方法与技术}：
    提出 FLOAT 框架，采用多目标强化学习结合人类反馈（RLHF）的方法技术来优化联邦学习。通过基于 Q 学习的多目标 RL，让 RLHF 智能体以全局和客户端状态为输入，选择如压缩、量化、剪枝等优化动作及相应超参数，在满足模型性能需求的同时最大化资源效率，其奖励函数综合考虑客户端参与成功和准确率提升。为应对大规模训练时的开销问题，支持客户端数据共享时的集中训练与隐私保护场景下的本地训练，且内存和训练开销极小。针对新工作负载，可通过在聚合器端训练集体查找表或微调预训练的 RLHF 智能体来适应。此外，通过统计降维减少状态空间，调整奖励和探索策略，缓存类似客户端反馈等技术，提升框架性能、可扩展性及对复杂资源场景的适应性。
    \item \textbf{主要贡献}：
    提出FLOAT框架，利用多目标强化学习结合人类反馈，解决联邦学习中资源管理和模型性能优化难题，在提升模型准确率、减少客户端退出、提高资源利用率等方面成效显著，且可扩展、易集成。
    \item \textbf{不足与未来方向}：
    在资源丰富环境或对减少客户端退出需求不高的场景下优势减弱，且未充分探索更复杂现实场景中的应用效果。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    Dordis: Efficient Federated Learning with Dropout-Resilient Differential Privacy
    \item \textbf{研究问题}：
    为解决联邦学习中分布式差分隐私机制在实际应用时，因客户端退出导致的隐私保障失效以及安全聚合协议带来的效率低下的问题，提出 Dordis框架提升隐私-效用平衡和训练效率。
    \item \textbf{方法与技术}：
    提出Dordis框架，采用 “先加后减”的XNoise噪声强制方案和分布式并行架构来解决联邦学习问题。在XNoise方案中，客户端先添加过量噪声，服务器再依据实际客户端参与情况去除多余噪声，以确保聚合更新的噪声始终维持在最低要求水平，保障隐私预算合理使用，该过程利用噪声分解和秘密共享技术提升效率与鲁棒性，并通过安全信道建立、签名验证等方式巩固安全性。在分布式并行架构方面，Dordis将分布式DP工作流抽象为多个阶段，依据主导资源对步骤进行分组，将模型更新划分为多个块，实现流水线并行操作；通过建立性能模型并进行参数分析，确定最优的分块数量，从而加速安全聚合过程，提升训练效率。
    \item \textbf{主要贡献}：
    有效解决联邦学习中分布式差分隐私机制面临的客户端退出和效率问题，实现高效且抗客户端退出的分布式差分隐私联邦学习。
    \item \textbf{不足与未来方向}：
    仅在半诚实设置下进行评估，未充分探讨恶意场景中更复杂攻击对框架的影响，且未深入研究框架在不同数据分布和更广泛联邦学习任务中的普适性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    REFL: Resource-Efficient Federated Learning
    \item \textbf{研究问题}：
    针对联邦学习中因数据分布、设备能力和参与者可用性的异质性导致的资源浪费、模型收敛和偏差问题，提出REFL方案，以优化资源利用效率并提升模型质量。
    \item \textbf{方法与技术}：
    提出REFL方案，采用智能参与者选择（IPS）和陈旧感知聚合（SAA）两项关键技术来解决联邦学习中的资源利用问题。IPS 通过让学习者预测自身未来可用性，服务器据此选择最不可能在未来可用的参与者，提高资源多样性，并引入自适应参与者目标（APT）机制动态调整参与人数，减少资源浪费。SAA 允许参与者提交超过轮次截止时间的陈旧更新，通过理论分析证明了带陈旧更新的 FedAvg算法能以与传统 FedAvg相同的渐近速率收敛。为减轻陈旧更新的负面影响，SAA 提出一种结合DynSGD的基于陈旧度的衰减规则和隐私保护的提升因子的加权规则，根据陈旧更新与新鲜更新平均值的偏差来调整权重，在不影响训练时间的前提下提高资源效率。
    \item \textbf{主要贡献}：
    有效解决联邦学习中资源浪费和数据多样性低的问题，在提升模型质量的同时降低资源消耗，且对训练时间影响较小。
    \item \textbf{不足与未来方向}：
    虽提出REFL取得诸多成果，但仅在模拟环境评估，未充分验证实际大规模部署效果，且未深入探讨面对恶意攻击或复杂现实场景时的应对策略。
\end{itemize}

\subsubsection{SC}
\begin{itemize}
    \item Yu等\cite{10046104}提出了\textit{SPATL}，解决了联邦学习中数据异构、通信开销大、模型训练不稳定等问题。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Federated Learning
    \item \textbf{研究问题}：
    提出SPATL方法，通过显著参数选择、知识转移学习和梯度控制联邦学习，解决了联邦学习中数据异构、通信开销大、模型训练不稳定等问题，实现了高效的分布式训练。
    \item \textbf{方法与技术}：
    提出SPATL方法,主要包含三项关键技术。一是异质知识转移学习，将深度学习模型分为共享编码器和本地预测器，通过联邦学习训练编码器，将其知识转移到本地预测器，以解决数据异质性问题，且在训练时针对参与通信和未参与通信的客户端分别采用不同优化函数。二是基于强化学习的拓扑感知显著参数选择，为降低通信开销，以拓扑感知网络剪枝任务为灵感，将神经网络建模为简化计算图，利用图神经网络（GNN）强化学习（RL）代理选择显著参数，通过定义环境状态、动作空间、奖励函数和 PPO 算法更新策略来实现，先预训练再在本地客户端微调。三是通用参数梯度控制联邦学习，为校正异质梯度，在客户端和服务器维护控制变量，只校正编码器梯度，在本地更新时通过添加估计梯度差来校正梯度漂移，并分别给出客户端和服务器控制变量的更新公式，同时按显著参数索引聚合部分参数，避免矩阵维度不匹配问题。
    \item \textbf{主要贡献}：
    提出SPATL方法，通过显著参数选择、知识转移学习和梯度控制机制，有效降低联邦学习通信开销、加速模型推理、解决数据异质性问题，提升模型性能和训练稳定性，且在实验中表现优于传统方法。
    \item \textbf{不足与未来方向}：
    虽验证了SPATL的有效性，但仅在有限规模的100个客户端及特定数据集和模型上进行，未充分测试大规模、复杂场景下的性能，且对简单模型的适用性不佳。
\end{itemize}

\subsubsection{MICRO}
\begin{itemize}
    \item Tian等\cite{9923843}提出了\textit{HARMONY}，旨在解决联邦学习中因设备训练能力和数据分布的异质性导致的模型性能和训练效率受影响的问题。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：
    HARMONY: Heterogeneity-Aware Hierarchical Management for Federated Learning System
    \item \textbf{研究问题}：
    提出Harmony框架，旨在解决联邦学习中因设备训练能力和数据分布的异质性导致的模型性能和训练效率受影响的问题，实现高效的联邦学习训练过程。
    \item \textbf{方法与技术}：
    提出Harmony框架，通过设计全局和本地协调器，采用系统和数据模型及效用函数，结合多种技术应对联邦学习中的异质性。全局协调器中，训练能力预测器用GRU模型预测设备训练能力，分布估计器基于模型梯度估计数据分布，效用优化器分解为设备选择器和数据整形器，前者用多臂老虎机-置信上限（MAB-UCB）模型选择设备，后者借鉴税收公平机制（TFM）调整数据分布。本地协调器负责运行时训练能力估计和数据分布监测，前者通过监测本地训练和系统进程的IPS来评估训练能力，后者利用K-means聚类算法和Frechet Inception Distance监测数据分布变化并触发重新协调。
    \item \textbf{主要贡献}：
    通过创新的异构感知分层管理方法，有效平衡联邦学习中模型性能与训练进度，在提升模型精度、加速训练过程和节省能源等方面成效显著。
    \item \textbf{不足与未来方向}：
    仅在模拟场景及有限的真实设备上进行实验，未充分考虑复杂多变的实际大规模部署环境，且对硬件相关优化建议缺乏实际验证。
\end{itemize}

\section{会议比较与总结}
\subsection{交叉研究点}
\begin{itemize}
    \item 硬件支持的分布式计算：\textit{DAC}的硬件设计与\textit{ICDCS}的分布式计算系统的性能结合。DAC 研究的硬件设计可以直接影响分布式计算的效率。例如，针对分布式系统中计算密集型任务，DAC 领域的硬件加速和优化技术能够提升 ICDCS 研究中的分布式计算系统的性能。
    \item 高性能计算与分布式存储：\textit{EuroSys}关注存储系统的优化，尤其是在操作系统和文件系统层面，\textit{ICDCS}则关注分布式存储系统如何保证一致性、高可用性和低延迟，两者在如何提升分布式系统的性能和可靠性问题上相互支持。
\end{itemize}

\subsection{差异总结}
\begin{itemize}
    \item \textit{DAC}DAC注重硬件设计，并且聚焦于电路等布局优化上。
    \item \textit{ICDCS}更侧重于软件和系统层，包括如何在多个计算节点上运行算法、管理资源和保障系统的可靠性与可扩展性。
    \item \textit{EuroSys}强调操作系统和架构优化，如操作系统内核、文件系统、并行计算、虚拟化等。
\end{itemize}

\section{研究趋势与挑战}
\subsection{研究趋势}
\begin{itemize}
    \item 趋势1：追求高效通信与计算。
    FHDnn结合深度学习和超维计算，避免传输CNN，仅训练超维组件，以加速训练、降低通信成本和本地计算能耗，提升通信效率和计算效率成为重要趋势。AdaptiveFL通过细粒度宽度模型剪枝机制和基于强化学习的设备选择策略，实现对模型的自适应分配，减少通信浪费，提高计算资源利用效率，也体现了这一趋势。
    \item 趋势2：强化安全与鲁棒性。
    DeTA采用去中心化和可信聚合的策略，通过将中央聚合器分解为多个去中心化实例，每个实例只拥有模型更新的部分信息，从而打破了数据集中的信息优势，降低了数据泄露的风险。OASIS机制通过对图像数据进行增强处理来抵消攻击,在提高模型安全性的同时，对模型性能的影响较小，能够在保证数据安全的前提下，实现模型的高效训练和推理。
\end{itemize}

\subsection{领域挑战}
\begin{itemize}
    \item 挑战1：模型性能和效率优化,重点体现在模型收敛性的问题。
    \item 挑战2：系统的稳定性，主要体现在系统能否拥有一个容错性较高的机制。
    \item 挑战3：数据和模型隐私保护，在FL中数据存在泄露风险，同时容易受到模型反向攻击。
\end{itemize}


\section{总结与展望}
\subsection{总结}
本文综述了\textit{DAC}、\textit{ICDCS}、\textit{EuroSys}和\textit{SC}等的研究贡献，总结了跨会议的研究动态。

\subsection{未来展望}
\begin{itemize}
    \item 跨领域融合与创新
    \\未来的研究可以进一步探索联邦学习与其他领域的融合，如区块链、物联网、人工智能等，开拓新的应用场景和研究方向。
    \item 模型安全性和鲁棒性增强
    \\随着联邦学习的应用范围不断扩大，模型的安全性和鲁棒性将成为越来越重要的研究方向。未来的研究需要进一步加强对模型安全性的研究，包括对抗攻击、数据隐私保护、模型验证等方面，提高模型的可靠性和安全性。
\end{itemize}

\bibliographystyle{IEEEtran}
\bibliography{references}

\end{document}
